Gumede bắt đầu sự nghiệp trẻ tại Arcadia Shepherds trước khi gia nhập học viện SuperSport United. Anh trải qua một mùa giải theo dạng cho mượn tại Mpumalanga Black Aces nhưng không ra sân trận nào.

Gumede gia nhập Platinum Stars vào tháng 7 năm 2012.[2] Cuối mùa giải 2012–13, anh được đề cử vào danh hiệu Cầu thủ trẻ xuất sắc nhất năm của ABSA Premiership và Cầu thủ tiềm năng nhất giải đấu của Cúp Nedbank,[3] winning the former.[4]

Ngày 26 tháng 7 năm 2016 có thông báo rằng Gumede đã gia nhập đội bóng Capetonian là Cape Town City F.C.